Knowledge graph reasoning (KGR), aiming to deduce new facts from existing facts based on mined logic rules underlying knowledge graphs (KGs), has become a fast-growing research direction. It has been proven to significantly benefit the usage of KGs in many AI applications, such as question answering and recommendation systems, etc. According to the graph types, the existing KGR models can be roughly divided into three categories, \textit{i.e.,} static models, temporal models, and multi-modal models. The early works in this domain mainly focus on static KGR and tend to directly apply general knowledge graph embedding models to the reasoning task. However, these models are not suitable for more complex but practical tasks, such as inductive static KGR, temporal KGR, and multi-modal KGR. To this end, multiple works have been developed recently, but no survey papers and open-source repositories comprehensively summarize and discuss models in this important direction. To fill the gap, we conduct a survey for knowledge graph reasoning tracing from static to temporal and then to multi-modal KGs. Concretely, the preliminaries, summaries of KGR models, and typical datasets are introduced and discussed consequently. Moreover, we discuss the challenges and potential opportunities. The corresponding open-source repository is shared on GitHub: https://github.com/LIANGKE23/Awesome-Knowledge-Graph-Reasoning.

Minimum Bayesian Risk Decoding (MBR) emerges as a promising decoding algorithm in Neural Machine Translation. However, MBR performs poorly with label smoothing, which is surprising as label smoothing provides decent improvement with beam search and improves generality in various tasks. In this work, we show that the issue arises from the un-consistency of label smoothing on the token-level and sequence-level distributions. We demonstrate that even though label smoothing only causes a slight change in the token-level, the sequence-level distribution is highly skewed. We coin the issue \emph{distributional over-smoothness}. To address this issue, we propose a simple and effective method, Distributional Cooling MBR (DC-MBR), which manipulates the entropy of output distributions by tuning down the Softmax temperature. We theoretically prove the equivalence between pre-tuning label smoothing factor and distributional cooling. Experiments on NMT benchmarks validate that distributional cooling improves MBR's efficiency and effectiveness in various settings.

本文开发了一个深图运算符网络（DeepGraphonet）框架，该框架学会了近似具有基础子图形结构的复杂系统（例如电网或流量）的动力学。我们通过融合（i）图形神经网络（GNN）来利用空间相关的图形信息和（ii）深操作符网络〜（deeponet）近似动态系统的解决方案操作员的能力来构建深图载体。然后，所得的深图载体可以通过观察图形状态信息的有限历史来预测给定的短/中期时间范围内的动力学。此外，我们将深图载体设计为独立于解决方案。也就是说，我们不需要以精确/相同的分辨率收集有限的历史记录。此外，为了传播训练有素的Deepgraphonet的结果，我们设计了一种零摄像的学习策略，可以在不同的子图上使用它。最后，对（i）瞬态稳定性预测电网和（ii）车辆系统的交通流量预测问题的经验结果说明了拟议的Deepgraphonet的有效性。

到达状态的密度可以帮助理解安全至关重要的系统的风险，尤其是在最坏情况下的情况过于保守的情况下。最近的工作提供了一种数据驱动的方法来计算自主系统在线前进状态的密度分布。在本文中，我们研究了这种方法与模型预测控制在不确定性下的可验证安全路径计划的结合。我们首先使用学习的密度分布来计算在线碰撞的风险。如果这种风险超过可接受的阈值，我们的方法将计划在先前轨迹周围采取新的途径，并在阈值以下碰撞风险。我们的方法非常适合处理具有不确定性和复杂动力学的系统，因为我们的数据驱动方法不需要系统动力学的分析形式，并且可以通过不确定性的任意初始分布来估算正向状态密度。我们设计了两个具有挑战性的场景（自动驾驶和气垫船控制），以在系统不确定性下的障碍物中进行安全运动计划。我们首先表明我们的密度估计方法可以达到与基于蒙特卡洛的方法相似的准确性，同时仅使用0.01倍训练样本。通过利用估计的风险，我们的算法在执行超过0.99的安全速率时达到目标达到最高成功率。

近年来，在自学学习（SSL）方面取得了重大成功，这有助于各种下游任务。但是，攻击者可能会窃取此类SSL模型并将其商业化以获利，这对于保护其知识产权（IP）至关重要。大多数现有的IP保护解决方案都是为监督学习模型而设计的，不能直接使用，因为它们要求模型的下游任务和目标标签在水印嵌入过程中已知并获得，这在SSL的域中并非总是可以的。为了解决此类问题，尤其是在水印嵌入过程中下游任务多样化且未知时，我们提出了一种新型的黑盒水印解决方案，名为SSL-WM，以保护SSL模型的所有权。 SSL-WM将水印编码器的水印输入映射到不变的表示空间中，该空间会导致任何下游分类器产生预期的行为，从而允许检测到嵌入式水印。我们使用不同的SSL模型（包括基于对比度和基于生成的生成型）来评估许多任务，例如计算机视觉（CV）和自然语言处理（NLP）等许多任务。实验结果表明，SSL-WM可以有效地验证各种下游任务中被盗SSL模型的所有权。此外，SSL-WM对模型进行微调和修剪攻击非常强大。最后，SSL-WM还可以从评估的水印检测方法中逃避检测，从而证明了其在保护SSL模型IP时的有希望的应用。

Navier-Stokes方程是描述液体和空气等流体运动的重要部分微分方程。由于Navier-Stokes方程的重要性，有效的数值方案的发展对科学和工程师都很重要。最近，随着AI技术的开发，已经设计了几种方法来整合深层神经网络，以模拟和推断不可压缩的Navier-Stokes方程所控制的流体动力学，这些方程可以以无网状和可不同的方式加速模拟或推断过程。在本文中，我们指出，现有的深入Navier-Stokes知情方法的能力仅限于处理非平滑或分数方程，这在现实中是两种关键情况。为此，我们提出了\ emph {深入的随机涡流方法}（drvm），该方法将神经网络与随机涡流动力学系统相结合，等效于Navier-Stokes方程。具体而言，随机涡流动力学激发了用于训练神经网络的基于蒙特卡洛的损失函数，从而避免通过自动差异计算衍生物。因此，DRVM不仅可以有效地求解涉及粗糙路径，非差异初始条件和分数运算符的Navier-Stokes方程，而且还继承了基于深度学习的求解器的无网格和可区分优势。我们对凯奇问题，参数求解器学习以及2-D和3-D不可压缩的Navier-Stokes方程的逆问题进行实验。所提出的方法为Navier-Stokes方程的仿真和推断提供了准确的结果。特别是对于包括奇异初始条件的情况，DRVM明显胜过现有的PINN方法。

随机部分微分方程（SPDE）是在包括大气科学和物理学在内的许多领域建模动力学的重要工具。神经操作员，几代神经网络具有无限维空间之间学习图的能力，是解决参数PDE的强大工具。但是，他们缺乏建模SPDE的能力，而SPDE通常由于驾驶噪声而定期较差。由于规律性结构的理论在分析SPDE方面取得了巨大成功，并提供了概念模型的特征向量，使SPDES的解决方案良好，我们提出了具有规律性结构（NORS）的神经操作员，该神经操作员结合了用于建模由SPDES驱动的动力学的功能向量。我们对各种SPDE进行实验，包括动态PHI41模型和2D随机Navier-Stokes方程，结果表明NORS是分辨率不变的，有效的，并且在较小量的数据级较低的误差中降低了一个数量级误差。

构建复杂三维（3D）塑料部件上的精确微纳米金属图案允许制造用于先进应用的功能装置。但是，这种图案目前是昂贵的，需要具有长制造时间的复杂过程。本作者演示了一种用任意复杂的形状制造微纳米3D金属塑料复合结构的方法。在这种方法中，修饰光固化树脂以制备能够允许随后的化学镀（ELP）的活性前体。新开发了一种多材料数字光处理3D打印机，以使含有由标准树脂或彼此嵌套的标准树脂或有源前体树脂制成的区域的部件的制造。这些部件的选择性3D ELP处理提供了各种金属塑料复合部件，其具有复杂的中空微纳米结构，其尺寸小于40μm的尺寸规模特定的拓扑关系。使用这种技术，可以通过传统方法制造的3D金属拓扑，并且可以在塑料部件内产生金属图案作为进一步小型化电子设备的装置。所提出的方法还可以产生具有改善金属粘附到塑料基材的金属涂层。基于该技术，设计并制造了由不同功能性非金属材料和特定金属图案组成的几种传感器。本结果证明了该方法的可行性，并提出了智能3D微纳米电子，3D可穿戴设备，微/纳米传感器和医疗保健领域的潜在应用。

接地的情况识别（GSR），即识别图像中的显着活动（或动词）类别（例如，购买）和检测所有相应的语义角色（例如，代理商和货物），是朝向“人类”的重要步骤事件理解。由于每个动词与特定的语义角色相关联，所以所有现有的GSR方法都采用了一个两级框架：在第一阶段预测动词并检测第二阶段的语义角色。然而，两个阶段存在明显的缺点：1）由于在日常活动中的阶级内变化和高阶间相似性，对物体识别的广泛使用的跨熵（XE）损耗在动词分类中不足。 2）以自回归方式检测到所有语义角色，这不能模拟不同角色之间的复杂语义关系。为此，我们为GSR提出了一种新的Situformer，其包括粗略的动词模型（CFVM）和基于变压器的名词模型（TNM）。 CFVM是一种两步动词预测模型：具有XE损耗培训的粗粒模型首先提出了一组动词候选，然后用三态损失培训的细粒度模型重新排名这些候选者，并使用增强的动词功能（不仅可分离但也是歧视的）。 TNM是一种基于变换器的语义角色检测模型，其并行检测所有角色。由于变压器解码器的全局关系建模能力和灵活性，TNM可以完全探索角色的统计依赖性。对挑战性SWIG基准测试的广泛验证表明，Situformer在各种指标下实现了一种新的最先进的性能。代码可在https://github.com/kellyiss/situformer中获得。

在这封信中提出了一种新的基于触诊的切口检测策略，潜在地用于机器人气管术。引入触觉传感器以通过轻轻接触测量特定喉部区域中的组织硬度。提出了内核融合方法以将平方指数（SE）内核与ornstein-uhlenbeck（OU）内核组合，以弄清楚现有内核功能在这种情况下的缺点是不够最佳的。此外，我们进一步规则化探索因子和贪婪因子，并且触觉传感器的移动距离和机器人基准的旋转角度在切口定位过程中被认为是采集策略中的新因素。我们进行了模拟和物理实验，以比较新提出的算法 - 重新分配采集策略与热气检测中的能量限制（RASEC），具有当前的触诊的采集策略。结果表明，具有融合内核的建议采集策略可以通过最高算法性能成功定位切口（平均精度0.932，平均召回0.973，平均F1得分0.952）。在机器人触发过程中，累积移动距离减少了50％，累积旋转角度减少了71.4％，没有牺牲在综合性能能力中。因此，证明RASEC可以有效地表明喉部区域中的切割区域，大大降低了能量损失。